Text copied to clipboard!
Pavadinimas
Text copied to clipboard!Spark kūrėjas
Aprašymas
Text copied to clipboard!
Ieškome Spark programuotojo, kuris prisijungtų prie mūsų duomenų inžinerijos komandos ir padėtų kurti bei optimizuoti didelio masto duomenų apdorojimo sprendimus naudojant Apache Spark. Ši pozicija reikalauja gilios patirties su paskirstytų sistemų architektūra, duomenų srautų valdymu ir didelių duomenų analizės įrankiais. Jūs dirbsite glaudžiai su duomenų mokslininkais, inžinieriais ir verslo analitikais, kad sukurtumėte efektyvius, patikimus ir mastelio atžvilgiu lanksčius sprendimus, kurie padės organizacijai priimti duomenimis grįstus sprendimus.
Pagrindinės atsakomybės apima Spark darbo srautų kūrimą, optimizavimą ir palaikymą, duomenų integracijos procesų kūrimą, ETL/ELT procesų automatizavimą bei duomenų kokybės užtikrinimą. Taip pat tikimasi, kad aktyviai dalyvausite architektūriniuose sprendimuose, padėsite tobulinti esamas sistemas ir prisidėsite prie gerųjų praktikų diegimo komandoje.
Idealiam kandidatui reikalinga patirtis su Apache Spark (ypač Spark SQL, DataFrames, RDD), programavimo kalbomis kaip Scala, Java ar Python, bei žinios apie duomenų bazių valdymo sistemas (pvz., PostgreSQL, Cassandra, Hive). Taip pat svarbu suprasti paskirstytų sistemų veikimą, gebėti dirbti su debesų platformomis (AWS, Azure ar GCP) ir turėti patirties su CI/CD įrankiais.
Jei esate motyvuotas, orientuotas į rezultatą ir norite dirbti su pažangiausiomis technologijomis, kviečiame prisijungti prie mūsų komandos ir augti kartu su mumis.
Atsakomybės
Text copied to clipboard!- Kurti ir optimizuoti Spark darbo srautus
- Projektuoti ir įgyvendinti ETL/ELT procesus
- Integruoti duomenis iš įvairių šaltinių
- Užtikrinti duomenų kokybę ir patikimumą
- Bendradarbiauti su duomenų mokslininkais ir analitikais
- Rašyti švarų, dokumentuotą ir testuojamą kodą
- Prisidėti prie architektūrinių sprendimų kūrimo
- Stebėti ir spręsti našumo problemas
- Naudoti debesų platformas duomenų apdorojimui
- Diegti gerąsias praktikas ir automatizavimo sprendimus
Reikalavimai
Text copied to clipboard!- Patirtis dirbant su Apache Spark (RDD, DataFrames, Spark SQL)
- Geri įgūdžiai programavimo kalbomis: Scala, Java arba Python
- Patirtis su duomenų bazių sistemomis (PostgreSQL, Hive, Cassandra)
- Supratimas apie paskirstytas sistemas ir jų veikimą
- Gebėjimas dirbti su debesų platformomis (AWS, Azure, GCP)
- Patirtis su CI/CD įrankiais ir procesais
- Gebėjimas analizuoti ir optimizuoti našumą
- Stiprios problemų sprendimo ir analitinės savybės
- Geri bendravimo įgūdžiai ir komandinio darbo patirtis
- Aukštasis išsilavinimas informacinių technologijų ar susijusioje srityje
Galimi interviu klausimai
Text copied to clipboard!- Kiek metų patirties turite dirbdami su Apache Spark?
- Kokias programavimo kalbas naudojate Spark projektams?
- Ar turite patirties su debesų platformomis? Kuria?
- Kaip sprendžiate našumo problemas Spark darbo srautuose?
- Ar esate dirbę su duomenų integracijos projektais?
- Kokius ETL įrankius esate naudoję?
- Kaip užtikrinate duomenų kokybę savo projektuose?
- Ar turite patirties su CI/CD procesais?
- Kaip bendradarbiaujate su kitomis komandomis?
- Kokius iššūkius esate sprendę dirbdami su dideliais duomenų kiekiais?
